DBSCAN由于其简单性和实用性而被广泛用于许多科学和工程领域。但是,由于其高灵敏度参数,聚类结果的准确性在很大程度上取决于实践经验。在本文中,我们首先提出了一种新颖的深钢筋学习指导自动DBSCAN参数搜索框架,即DRL-DBSCAN。该框架通过将聚类环境视为马尔可夫决策过程来模拟调整参数搜索方向的过程,该过程旨在在没有手动帮助的情况下找到最佳的聚类参数。 DRL-DBSCAN使用弱监督的奖励培训策略网络,通过与群集进行交互来了解不同特征分布的最佳聚类参数搜索策略。此外,我们还提出了一个由数据规模驱动的递归搜索机制,以有效且可控制地处理大参数空间。基于拟议的四种工作模式,在五个人工和现实世界数据集上进行了广泛的实验。离线和在线任务的结果表明,DRL-DBSCCUN不仅始终如一地提高DBSCAN聚类精度高达26%和25%,而且可以稳定地找到具有较高计算效率的主要参数。该代码可在https://github.com/ringbdstack/drl-dbscan上找到。
translated by 谷歌翻译
在线影响最大化旨在通过选择一些种子节点,最大程度地利用未知网络模型的社交网络中内容的影响。最近的研究遵循非自适应设置,在扩散过程开始之前选择种子节点,并且在扩散停止时更新网络参数。我们考虑了与内容相关的在线影响最大化问题的自适应版本,其中种子节点是根据实时反馈依次激活的。在本文中,我们将问题提出为无限马在线性扩散过程中的折扣MDP,并提出了基于模型的增强学习解决方案。我们的算法维护网络模型估算,并适应种子用户,探索社交网络,同时乐观地改善最佳策略。我们建立了$ \ widetilde o(\ sqrt {t})$遗憾的算法。合成网络的经验评估证明了我们的算法效率。
translated by 谷歌翻译
图形神经网络(GNNS)在广泛的应用方面显示了有希望的结果。 GNN的大多数实证研究直接将观察图视为输入,假设观察到的结构完美地描绘了节点之间的准确性和完全关系。然而,现实世界中的图形是不可避免的或不完整的,甚至可以加剧图表表示的质量。在这项工作中,我们提出了一种新颖的变分信息瓶颈引导图形结构学习框架,即vib-gsl,在信息理论的角度下。 VIB-GSL推进了图形结构学习的信息瓶颈(IB)原则,为挖掘潜在的任务关系提供了更优雅且普遍的框架。 VIB-GSL了解一个信息和压缩图形结构,用于蒸馏出特定的下游任务的可操作信息。 VIB-GSL为不规则图数据推导了变化近似,以形成促进训练稳定性的易切换IB目标函数。广泛的实验结果表明,VIB-GSL的卓越有效性和鲁棒性。
translated by 谷歌翻译
Fair AutoML
Qingyun Wu , Chi Wang
分类: 机器学习
2021-11-11
我们展示了一台端到端的自动化机器学习系统,不仅可以获得良好的预测准确性而且展出的机器学习模型。由于以下原因,该系统是可取的。(1)与传统的自动化系统相比,该系统纳入了公平评估和不公平的缓解,使得可以量化机器学习模型的公平性,在必要时减轻他们的不公平性。(2)该系统旨在具有良好的任何时间`公平的性能,例如满足必要公平约束的模型的准确性。为了实现它,该系统包括一种动态决定根据预测准确性,公平性和资源消耗来动态决定何时和在哪种模型的何时何种行为。(3)系统使用系统灵活。它可以与大多数现有的公平度量和不公平的缓解方法一起使用。
translated by 谷歌翻译
Most Graph Neural Networks follow the message-passing paradigm, assuming the observed structure depicts the ground-truth node relationships. However, this fundamental assumption cannot always be satisfied, as real-world graphs are always incomplete, noisy, or redundant. How to reveal the inherent graph structure in a unified way remains under-explored. We proposed PRI-GSL, a Graph Structure Learning framework guided by the Principle of Relevant Information, providing a simple and unified framework for identifying the self-organization and revealing the hidden structure. PRI-GSL learns a structure that contains the most relevant yet least redundant information quantified by von Neumann entropy and Quantum Jensen-Shannon divergence. PRI-GSL incorporates the evolution of quantum continuous walk with graph wavelets to encode node structural roles, showing in which way the nodes interplay and self-organize with the graph structure. Extensive experiments demonstrate the superior effectiveness and robustness of PRI-GSL.
translated by 谷歌翻译
Attention-based autoregressive models have achieved state-of-the-art performance in various sequence-to-sequence tasks, including Text-To-Speech (TTS) and Neural Machine Translation (NMT), but can be difficult to train. The standard training approach, teacher forcing, guides a model with the reference back-history. During inference, the generated back-history must be used. This mismatch limits the evaluation performance. Attention forcing has been introduced to address the mismatch, guiding the model with the generated back-history and reference attention. While successful in tasks with continuous outputs like TTS, attention forcing faces additional challenges in tasks with discrete outputs like NMT. This paper introduces the two extensions of attention forcing to tackle these challenges. (1) Scheduled attention forcing automatically turns attention forcing on and off, which is essential for tasks with discrete outputs. (2) Parallel attention forcing makes training parallel, and is applicable to Transformer-based models. The experiments show that the proposed approaches improve the performance of models based on RNNs and Transformers.
translated by 谷歌翻译
Deliberation networks are a family of sequence-to-sequence models, which have achieved state-of-the-art performance in a wide range of tasks such as machine translation and speech synthesis. A deliberation network consists of multiple standard sequence-to-sequence models, each one conditioned on the initial input and the output of the previous model. During training, there are several key questions: whether to apply Monte Carlo approximation to the gradients or the loss, whether to train the standard models jointly or separately, whether to run an intermediate model in teacher forcing or free running mode, whether to apply task-specific techniques. Previous work on deliberation networks typically explores one or two training options for a specific task. This work introduces a unifying framework, covering various training options, and addresses the above questions. In general, it is simpler to approximate the gradients. When parallel training is essential, separate training should be adopted. Regardless of the task, the intermediate model should be in free running mode. For tasks where the output is continuous, a guided attention loss can be used to prevent degradation into a standard model.
translated by 谷歌翻译
面向目标的生成脚本学习旨在根据目标生成后续步骤,这是帮助机器人进行日常生活的刻板印象活动的重要任务。我们表明,如果历史状态不仅被给人的语言指示捕获,而且还可以增强随附图像提供的其他信息,可以提高此任务的性能。因此,我们提出了一项新任务,多媒体生成脚本学习,以通过跟踪文本和视觉方式中的历史状态,并介绍包含2,338个任务和31,496个步骤的第一个基准,从而生成后续步骤。我们旨在生成视觉状态的脚本,这些脚本是可跟踪的,对看不见的任务的诱导性,并且在各自的步骤中多样化。我们建议通过多媒体选择性编码器编码视觉状态更改,并使用检索仪的解码器从先前观察到的任务中转移知识,并通过优化面向多样性的对比度学习目标来在每个步骤中介绍不同的信息。我们定义指标以评估发电质量和电感质量。实验结果表明,我们的方法明显优于强质基线。
translated by 谷歌翻译
拓扑不平衡是由标记节点的不均匀拓扑位置引起的一个特异性不平衡问题,它大大损害了GNN的性能。什么拓扑不平衡意味着如何衡量其对图形学习的影响。在本文中,从全球视图中,我们对监督信息分布的全球视图提供了对拓扑 - 不平衡的新理解,从不足和过度划分的角度来看,这激发了两个定量指标作为测量。鉴于我们的分析,我们提出了一个新颖的位置感知的图形结构学习框架,该框架名为柔和,该框架直接优化了信息传播路径并解决了本质上解决拓扑 - 不平衡问题。我们的关键见解是增强同一类中节点的连接性,以获取更多的监督信息,从而减轻不足和过度的现象。具体而言,我们设计了一个基于锚的位置编码机制,该机制可以更好地结合相对拓扑位置并通过最大化标签影响来增强类内部电感偏置。我们进一步提出了作为边缘权重的阶级冲突度量,这有利于不同节点类别的分离。广泛的实验表明,在不同的数据注释方案中增强GNNS的功率方面,柔和的能力具有较高的潜力和适应性。
translated by 谷歌翻译
近年来,遥感图像中的对象检测增加了增加的注意。然而,传统的光学检测高易受照明和天气异常的影响。有效地利用来自多源遥感图像的跨模式信息,特别是光学和合成孔径雷达图像是挑战,以实现高精度和速度的全天和全天候检测。朝向此结束,在当前纸张中提出了一种快速的多源融合检测框架。用于联盟的新型距离衰减交叉点以用规模不变性对目标的形状特性进行编码。因此,可以准确地对多源图像中的相同目标。此外,利用加权的Dempster-Shafer证据理论将光学和合成孔径雷达检测结合,这克服了需要大量配对数据的特征级融合中的缺点。此外,苏伊士船舶在苏伊士运河中搁浅的集装箱船的配对光学和合成孔径雷达图像被采用展示我们的融合算法。为了测试所提出的方法的有效性,在自建立数据集时,所提出的融合检测框架的平均精度优于光学检测20.13%。
translated by 谷歌翻译